SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation
SynthAVE：电商属性抽取的规模化合成标注与多模型验证框架
🧭 多 LLM 协同标注 · 属性抽取验证 ★ 深度解读
Amazon
用 21 个异质 LLM 组成的投票仲裁机制验证合成标注，与人类专家一致性达 95.2% (κ=0.92)，错误校正率 83.1%
📌 工作参考价值（4 点）
- 数据质量兜底：业务中大量使用 LLM 生成商品属性标签（材质、颜色、适用年龄等）时，可引入 3–5 个异质模型 + 多 prompt 的轻量投票团进行盲评，仅对分歧样本投入人工复核，可将人工复审量压到 5% 以下而保持 97%+ 准确率。
- 一致性作为置信度信号：仲裁团的一致程度可直接用作标签可信度——全票通过（36% 样本）几乎无错（0% 翻转），低一致样本（<50%）自动转人工，实现风险分级工作流。
- 低成本规模化清洗：全文 7 模型 ×3 prompt 的成本约 $0.023/商品，仅保留最高性价比的 3 个家族（如 Claude、Nova、GPT）可降至 $0.002/商品。此类配置适合百万级商品库的背景批量纠错。
- 回避模型家族偏差：选择来自不同供应商、不同架构的模型，而非同家族不同尺寸，能显著降低系统性误判——文中 Claude 家族与 Qwen 家族间一致性仅 κ≈0.57，这种异质性恰恰是集成可靠的保障。